1. 簡介
上次更新時間：2022 年 2 月 8 日
為什麼需要多雲端串流？
企業正積極尋求將工作負載分散到多個雲端平台，因為在企業的營運工作流程中採用多個雲端服務供應商，有以下幾項優點：
- 受制於相同廠商
- 降低營運持續風險
- 依附元件和單一技術堆疊的依賴性
建構項目
在本程式碼研究室中，您將利用 Confluent Cloud，在 AWS 和 GCP 之間設定多雲端資料串流。您將學會以下內容：
- 在 GCP 上的 Confluent Cloud 中設定專屬 Kafka 叢集。
- 在 Confluent Cloud 和 GCP 專案之間設定虛擬私有雲對等互連，以便在私有網路上存取。
- 在 AWS 專案和 GCP 專案之間設定 VPN 通道，讓兩個超大規模運算服務的資源可以連線。
- 從 AWS 存取 Confluent Kafka，並利用 Confluent Kafka Cloud，設定從 AWS 到 GCP 的串流管道。
課程內容
- 如何設定 Confluent Cloud Kafka 與 GCP 專案之間的 VPC 對等互連。
- 如何在 AWS 和 GCP 專案之間設定 VPN 通道。
- 瞭解如何從 AWS 專案存取 GCP 代管的 Confluent Cloud。
本程式碼研究室著重於建構多雲資料串流。我們不會對與本主題無關的概念和程式碼多做介紹，但會事先準備好這些程式碼區塊，屆時您只要複製及貼上即可。
軟硬體需求
- AWS 專案存取權。
- GCP 專案存取權。
- GCP 和 AWS Cloud 的經驗。
- 透過 GCP Marketplace 訂閱 Confluent Kafka。
2. 開始設定
設定 AWS 與 GCP 之間的 VPN 連線
- 本示範使用 GCP 中的預設虛擬私有雲 (asia-southeast1)，以及 AWS 中的 ng-vpc-103-mum (ap-south1)。
- 在 AWS 上建立客戶閘道和虛擬私有閘道 (VPG)。將 VPG 附加至 AWS 虛擬私有雲。
- 在 AWS 上建立站對站 VPN 連線。
- 下載在 AWS 中建立的通道設定檔。選取
- 供應商：一般
- 平台：一般
- 軟體：不限供應商
- IKE 版本：IKEv2
- 在 GCP 上建立 VPN 閘道和 VPN 通道。
請提供兩個通道的 IP 位址和 Ikev2 金鑰 (來自下載的 AWS 設定檔)。
- 完成後，AWS 和 GCP 上的通道應會處於「UP」和「Running」狀態。
通道設定現已完成。
- 選取用於設定 Confluent Cloud 的 CIDR 區塊。在 AWS 上將此項目新增至 VPN 通道做為靜態路徑。
GCP Marketplace 上的 Confluent Kafka
- 從 GCP Marketplace 訂閱 Confluent Kafka。
- 登入 Confluent Cloud 並建立專屬叢集
- 提供 GCP 專案 ID，以及對等互連的虛擬私有雲網路詳細資料。
- 使用提供的 Confluent Cloud 叢集網路詳細資料，在 GCP 端完成 VPC 對等互連。
- Confluent Cloud 叢集現已啟用，並與 GCP 對等互連。
- 從 GCP 測試與 Confluent 叢集的連線。
- 佈建 GCE 執行個體並安裝 Python3。
- 在 Confluent Cloud 中產生 Python 用戶端金鑰
- 從 GCP 執行個體執行測試指令碼「producer.py」：
- 現在，請在 AWS 執行個體上，下載範例程式碼庫並執行「producer.py」指令碼，測試從 GCP 到 Confluent Cloud 的混合式連線。
3. 恭喜
恭喜！您已成功在 AWS 和 GCP 之間建構多雲端跨區域的 Confluent Kafka 串流平台。
實用程式碼研究室**?**
查看一些程式碼研究室…